Erwin von Witzleben sinh tại Breslau (nay là Wrocław, Ba Lan) thuộc tỉnh Silesia của Vương quốc Phổ. Ông là con trai của Georg von Witzleben (1838–1898), một Hauptmann (đại úy) trong Quân đội Phổ, và bà Therese, nhũ danh Brandenburg. Gia tộc Witzleben từng là lãnh chúa vùng đất Witzleben của Thüringen vào thời Trung cổ.

Ông hoàn thành chương trình Thiếu sinh quân Phổ tại Wahlstatt, Silesia và Lichterfelde gần Berlin, và ngày 22 tháng 6 năm 1901 gia nhập Trung đoàn Grenadier König Wilhelm I số 7 tại Liegnitz, Silesia (nay là Legnica, Ba Lan) với tư cách là một Leutnant (thiếu úy). Năm 1910, ông được thăng hàm Oberleutnant (trung úy).

Ông kết hôn với Else Kleeberg, người gốc Chemnitz, Sachsen. Hai người có với nhau một con trai và một con gái.